这篇论文是发表在 AAAI 2019 上,作者是来自中科大的王一磊。
Background
在一个 CNN 的卷积层的堆栈内,所有的通道都是由之前的层生成的,并会在下一层中得到平等的对待。这就带来了一个想法:这样的「分布」可能不是最优的,因为事实可能证明某些特征比其它特征更有用。Zhang et al. 表明,对于每张输入图像,更高层中仅有少量通道被激活,同时其它通道中的神经元响应接近于零。由此,作者提出了一种根据激活的相对幅度来选择通道的方法,并可以进一步作为一种建模通道之间的依赖关系的特殊方法 WCD。
Method
WCD 背后的主要思想如下:
- 1,对前一层输出的通道进行评级,并为每个通道分配一个分数。这个分数是使用全局平均池化(GAP)操作得到的。
- 2,会生成一个二元掩码来指示每个通道是否被选中,分数相对更高的通道有更高的概率得到保留。
- 3,使用一个额外的随机数生成器来进一步为下一层过滤通道。这可以被视为上述步骤中选择性 dropout 之上的随机选择 dropout。这是一个可选步骤。